Grundbegriffe quantitativ-empirischer Methodologie

Samuel Merk

Inhalte dieses Erklärvideos

Wissenschaft vs. nicht-Wissenschaft

Kriterien Wissenschaftlicher Qualität

Systematisierung quantitativer Studien

Steigerung der Qualität

Wissenschaft vs. nicht-Wissenschaft

Das Abgrenzungsproblem

Das Abgrenzungsproblem

Wer wissenschaftliche Forschung („scientific research”) betreibt, sucht mithilfe anerkannter wissenschaftlicher Methoden und Methodologien auf der Basis des bisherigen Forschungsstandes (d. h. vorliegender Theorien und empirischer Befunde) zielgerichtet nach gesicherten neuen Erkenntnissen, dokumentiert den Forschungsprozess sowie dessen Ergebnisse in nachvollziehbarer Weise und stellt die Studie in Vorträgen und Publikationen der Fachöffentlichkeit vor (Döring & Bortz, 2016).



Weiterführende Literatur

Lakatos, I. (1977). The Methodology of Scientific Research Programmes: Philosophical Papers Volume I. Cambridge University Press.
Kuhn, Thomas S. (1962). The Structure of Scientific Revolutions. University of Chicago Press.
Popper, K. (1989). Logik der Forschung. Mohr.

Nicht-Wissenschaft Bsp. 1:

Practical Wisdom. Beispielsweise stellt der Tipp eines Betreuungslehrers - lernen Sie schnell die Vornamen, das wird das Classroommanagement schnell erleichtern - Nicht-Wissenschaft dar.


Wer wissenschaftliche Forschung („scientific research”) betreibt, sucht mithilfe anerkannter wissenschaftlicher Methoden und Methodologien auf der Basis des bisherigen Forschungsstandes (d. h. vorliegender Theorien und empirischer Befunde) zielgerichtet nach gesicherten neuen Erkenntnissen, dokumentiert den Forschungsprozess sowie dessen Ergebnisse in nachvollziehbarer Weise und stellt die Studie in Vorträgen und Publikationen der Fachöffentlichkeit vor.

Nicht-Wissenschaft Bsp. 2:

Datenbasierte Schulentwicklung. Beispielsweise stellt eine Befragung von Eltern zu einer geplanten Schulmensa trotz »perfektem Fragebogen & optimaler Auswertung« Nicht-Wissenschaft dar.


Wer wissenschaftliche Forschung („scientific research”) betreibt, sucht mithilfe anerkannter wissenschaftlicher Methoden und Methodologien auf der Basis des bisherigen Forschungsstandes (d. h. vorliegender Theorien und empirischer Befunde) [zielgerichtet] nach gesicherten neuen Erkenntnissen, dokumentiert den Forschungsprozess sowie dessen Ergebnisse in nachvollziehbarer Weise und stellt die Studie in Vorträgen und Publikationen der Fachöffentlichkeit vor.

Kriterien der wiss. Qualität

Kriterien der wiss. Qualität

Im Bereich der quantitativen empirischen Sozialforschung sind die folgenden Kriterien vglw. unumstritten (Döring & Bortz, 2016):

  • Relevanz
  • Ethische Strenge
  • Methodische Strenge
    • Konstruktvalidität
    • Interne Validität
    • Externe Validität
    • Statistische Validität
  • Präsentationsqualität

Definition: Interne Validität


Die interne Validität einer Studie beschreibt inwiefern die untersuchten Variablenzusammenhänge als kausal (Ursache-Wirkungs-Relation) interpretiert werden können (siehe Campbell, 1957).

Definition: Externe Validität


Die externe Validität einer Studie beschreibt inwiefern sich die Schlussfolgerungen einer Studie (auf andere Proband*innen, Zeiten, etc.) verallgemeinern lassen (siehe Campbell, 1957).

Systematisierung (quantitativer Studien) in den Sozialwissenschaften

Empirische, theo. & methodische Studien

Empirisch meint auf Beobachtungen beruhend, die zielgerichtet für die Forschungsfrage generiert wurden.
Theoretisch meint ohne direkten Rückgriff auf empirische Daten.
Methodisch meint eine wissenschaftliche Methode untersuchend.


Beispiele (Auszüge aus Abstracts)

“The purpose of the present study was to test the association between persistent cannabis use and neuropsychological decline and determine whether decline is concentrated among adolescent-onset cannabis users. Participants were members of the Dunedin Study, a prospective study of a birth cohort of 1,037 individuals followed from birth (1972/1973) to age 38 y. Cannabis use was ascertained in interviews at ages 18, 21, 26, 32, and 38 y […]” (Meier et al., 2012).

➡ Empirische Studie

“Der Beitrag diskutiert die Bedeutung von Meta-Reflexivität für die Professionalität im Lehrerinnen- und Lehrerberuf. Meta-Reflexivität beruht erstens auf der für die Lehrerbildung konstitutiven Mehrperspektivität, die wiederum auf die vielfältigen an ihr beteiligten Disziplinen und Studienelemente zurückgeht. Zweitens greift der Ansatz Ungewissheit als konstitutives Merkmal der gängigen Professionstheorien zum Lehrerinnen- und Lehrerberuf auf. Ausgehend von einer historisch-systematischen Rekonstruktion wird Meta-Reflexivität als ein Element von Professionalität entfaltet […]” (Cramer, Harant, Merk, Drahmann, & Emmerich, 2019).

➡ Theoretische Studie

Primär-, Sekundär-, Metastudien

Primärstudien nutzen einen eigens für die Studie generierten Datensatz.
Sekundärstudien reanalysieren bereits vorhandene Datensätze.
Metaanalysen analysieren die Ergebnisse mehrerer vergleichbarer Studien.


Beispiele (Auszüge aus Abstracts):

“Suspension of face-to-face instruction in schools during the COVID-19 pandemic has led to concerns about consequences for students’ learning. So far, data to study this question have been limited. Here we evaluate the effect of school closures on primary school performance using exceptionally rich data from The Netherlands (n ≈ 350,000). We use the fact that national examinations took place before and after lockdown and compare progress during this period to the same period in the 3 previous years. […]” (Engzell, Frey, & Verhagen, 2021).

➡ Sekundärstudie

“Kinder mit sprachlichem Migrationshintergrund stehen beim Erwerb sprachlicher Kompetenzen in der Schule vor besonderen Herausforderungen. Wir untersuchen Stereotypenbedrohung als mögliche Ursache für einen geringeren Wortschatzzuwachs. N = 118 Kinder mit sprachlichem Migrationshintergrund aus 18 Grundschulklassen der vierten Jahrgangsstufe wurden randomisiert einer expliziten, einer impliziten oder keiner Stereotypenbedrohung ausgesetzt und sollten im Anschluss schwierige Wörter erlernen. Erwartungsgemäß war der Wortschatzzuwachs in den beiden Bedrohungsbedingungen, insbesondere in der expliziten, geringer als in der Kontrollbedingung. (…)” (Sander, Ohle, McElvany, Zander, & Hannover, 2018).

➡ Primärstudie

Deskriptive, explanative, explorative Studien

Deskriptive Studien zielen auf die Beschreibung der Verteilung von Variablen in der Population ab.
Explanative Studien zielen auf die Verifikation/Falsifikation bestehender Kausalhypothesen ab.
Explorative Studien zielen auf die Genese von Hypothesen ab.

Beispiele (Auszüge aus Abstracts):

“Suspension of face-to-face instruction in schools during the COVID-19 pandemic has led to concerns about consequences for students’ learning. So far, data to study this question have been limited. Here we evaluate the effect of school closures on primary school performance using exceptionally rich data from The Netherlands (n ≈ 350,000). We use the fact that national examinations took place before and after lockdown and compare progress during this period to the same period in the 3 previous years. […]” (Engzell et al., 2021).

➡ Deskriptive Studie

“Kinder mit sprachlichem Migrationshintergrund stehen beim Erwerb sprachlicher Kompetenzen in der Schule vor besonderen Herausforderungen. Wir untersuchen Stereotypenbedrohung als mögliche Ursache für einen geringeren Wortschatzzuwachs. N = 118 Kinder mit sprachlichem Migrationshintergrund aus 18 Grundschulklassen der vierten Jahrgangsstufe wurden randomisiert einer expliziten, einer impliziten oder keiner Stereotypenbedrohung ausgesetzt und sollten im Anschluss schwierige Wörter erlernen. Erwartungsgemäß war der Wortschatzzuwachs in den beiden Bedrohungsbedingungen, insbesondere in der expliziten, geringer als in der Kontrollbedingung. […]” (Sander et al., 2018).

➡ Explanative Studie

Messwiederholte und querschnittliche Studien

Bei querschnittlichen Studien wird nur einmalig gemessen.
Längsschnittliche Studien messen dieselben Variablen bei denselben Merkmalsträgern zu mehreren Zeitpunkten.
Trendstudien messen dieselben Variablen derselben Grundgesamtheit (Population) zu mehreren Zeitpunkten.

Laborstudie, Feldstudie

Als Laborstudien bezeichent man Studien, die in einer künstlich kontrollierbaren Umgebung stattfinden.
Bei Feldstudien werden die Merkmalsträger in ihrer natürlichen Umgebung untersucht.

Experiment, Quasi- und Nicht-Experiment

Experimente und Quasiexperimente teilen Proband*innen in Gruppen ein, welche Sie unterschiedlichen Interventionen (auch »Behandlungen« oder »Treatments«) unterziehen.
Nicht-Experimente verzichten hierauf.
Bei Experimenten liegt die Gruppeneinteilung in der Hand der Forschenden, wohingegen die Gruppen bei Quasi-Experimenten durch andere Mechanismen zustande kommen oder bereits feststehen.


Steigerung der int./ext. Validität

Steigerung der internen Validität

  • Experimentelle Studiendesigns
  • Längsschnittliche Studiendesigns
  • Matching Studien
  • Laborstudien
  • Verblindung
  • Kontroll- und Vergleichsgruppen
  • Inferenzstatistik
  • Direkte Replikationsstudien
  • Präregistrierung

Steigerung der externen Validität

  • Große, möglichst repräsentative Stichproben
  • Zufallsstichproben
  • Feldstudien
  • Metaanalysen
  • Konzeptuelle Replikationsstudien

Literatur

Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297–312.
Cramer, C., Harant, M., Merk, S., Drahmann, M., & Emmerich, M. (2019). Meta-Reflexivität und Professionalität im Lehrerinnen- und Lehrerberuf. Zeitschrift Für Pädagogik, 65(3), 401–423.
Döring, N., & Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften (5., vollst). Berlin, Heidelberg: Springer.
Engzell, P., Frey, A., & Verhagen, M. D. (2021). Learning loss due to school closures during the COVID-19 pandemic. Proceedings of the National Academy of Sciences, 118(17), e2022376118.
Meier, M. H., Caspi, A., Ambler, A., Harrington, H., Houts, R., Keefe, R. S. E., … Moffitt, T. E. (2012). Persistent cannabis users show neuropsychological decline from childhood to midlife. Proceedings of the National Academy of Sciences, 109(40), E2657–E2664.
Sander, A., Ohle, A., McElvany, N., Zander, L., & Hannover, B. (2018). Stereotypenbedrohung als Ursache für geringeren Wortschatzzuwachs bei Grundschulkindern mit Migrationshintergrund. Zeitschrift Für Erziehungswissenschaft, 21(1), 177–197.